Pour qu’une page s’affiche parmi des résultats de recherche sur Google, il faut que le site auquel elle appartient ait été crawlé (exploré) par Google.
Toutefois, le robot crawler ne parcourt pas systématiquement toutes les pages de tous les sites indexés. Sur chaque site, il s’arrête à un certain nombre de pages : c’est le budget de crawl ou crawl budget.
Le budget de crawl est influencé par divers facteurs tels que la vitesse de chargement ou la taille du site. Vous pouvez essayer d’agir sur ces facteurs, pour améliorer l’exploration de votre site, et potentiellement votre positionnement sur le moteur de recherche numéro 1. Le but étant pour chaque entreprise, d’atteindre la première position Google sur ses mots-clés principaux.
Comment fonctionne le budget de crawl ?
Comme tous les moteurs de recherche, Google se sert des robots crawlers pour procéder à l’analyse des pages de votre site internet. Au cours de cette exploration, qui se déroule en plusieurs séquences, le robot de Google se définit systématiquement un budget de crawl. Ce nombre maximal de pages parcourues et sauvegardées peut varier chaque fois que le robot revient pour faire le crawling de votre site.
Afin de bénéficier d’un crawl budget optimal, l’idéal est donc d’œuvrer pour simplifier le travail d’exploration réalisé par Google et ses robots.
Quels sont les critères qui influencent le budget de crawl ?
Le budget de crawl ou budget d’exploration est influencé par plusieurs paramètres. De façon globale, le robot explorateur ira en profondeur sur votre site selon la rapidité avec laquelle il peut le parcourir, et selon l’intérêt que pourraient présenter pour les internautes, les contenus qu’il y trouve.
Les performances du serveur
Ce point est sans doute l’un des plus importants parmi ceux que prend en compte un robot crawler. Plus précisément, le temps de réponse des serveurs sur lesquels vos pages sont hébergées, influence le temps que votre site met à se charger.
Si la vitesse de chargement du site est optimale, alors le robot pourra parcourir un maximum de pages en peu de temps, il améliorera donc votre crawl budget. D’ailleurs, Google apprécie et note mieux les sites qui se chargent vite, parce qu’ils offrent aux internautes une meilleure expérience utilisateur.
Note : Pour rappel, l’index Mobile First de Google, considère le temps de chargement des pages d’un site web sur mobile. Le mobile étant le device le plus utilisé, il est important de tester la rapidité de chargement des pages de votre site sur mobile, avant le desktop.
La profondeur des pages
La profondeur d’une page fait référence au nombre de clics qu’il faut, pour atterrir sur ladite page, en partant de la page d’accueil. Durant le crawling, Google s’intéressera aussi à cette profondeur des pages.
Ainsi, plus il faut de clics pour atteindre une page, moins celle-ci a de chances d’être crawlée, compte tenu du caractère aléatoire de l’exploration.
La fréquence de mise à jour
Lorsque les robots de Google crawlent un site, ils gardent en mémoire les pages parcourues. Si vous actualisez fréquemment le contenu de votre site, ils reviendront fréquemment l’explorer pour analyser les nouvelles pages. Votre site aura droit à un crawl budget élevé, alors qu’un site statique sera plus rarement crawlé.
La qualité des contenus
Depuis les mises à jour des algorithmes Google Pingouin et Opossum, un accent particulier est désormais mis sur la qualité du contenu. Ce facteur intervient donc aussi au niveau du budget de crawl. Si vous vous assurez de publier des contenus très qualitatifs sur votre site, il sera mieux crawlé.
Conseils pour améliorer le budget de crawl de votre site
Voici quelques conseils afin d’améliorer votre budget de crawl et être plus souvent et plus longtemps crawlé.
Optimisation de la vitesse de chargement de votre site
Afin que les pages de votre site se chargent rapidement, vous devez avant tout choisir un bon hébergeur. Bien sûr, plus performante sera la solution d’hébergement web que vous sollicitez, plus élevé sera le coût…
Idéalement, vous devrez opter pour un hébergement sur serveur dédié. Vous êtes alors le seul à occuper le serveur, et toutes ses ressources sont consacrées à rendre votre site performant.
Si, pour des questions de budget, vous vous résignez à prendre un hébergement mutualisé, vous partagerez un même serveur avec de nombreux autres sites. Les ressources étant alors réparties, votre site sera plus lent à se charger, et votre budget de crawl pourra évidemment être plus faible. Heureusement, il existe quelques astuces pour optimiser votre site, même s’il est hébergé sur un serveur mutualisé.
- Minifier le code HTML et CSS : afin d’obtenir un code source « compressé ». Attention également à la propreté de votre code !
- Optimiser la taille des médias : compresser la taille des images avec des outils spécialisés, et insérer des vidéos préalablement hébergées sur YouTube, Dailymotion ou encore Vimeo.
- Passer par un Content Delivery Network (CDN) : le CDN est un réseau mondial constitué de serveurs jouant le rôle de relais, pour la diffusion de contenus web hébergés sur un serveur central. En utilisant un CDN, vous permettez aux visiteurs de votre site qui se trouvent dans d’autres pays de bénéficier d’un temps de chargement plus rapide. Les données de votre site leur sont alors fournies par les serveurs relais. Le plus populaire des CDN étant Cloudflare qui propose en aparté un plan gratuit.
Mise en place d’un bon maillage interne
Le maillage interne de votre site fait référence à la structuration du contenu du site et à la hiérarchisation des pages. C’est lui qui permet d’envoyer plus ou moins en profondeur une page. Si vous vous assurez d’optimiser le maillage interne de votre site, vous pourrez ramener les pages les plus importantes vers le sommet de l’architecture du site. Elles seront donc atteintes plus rapidement depuis la page d’accueil, et Google vous octroiera un budget de crawl plus élevé.
Bien sûr, un bon maillage interne rend également la navigation plus fluide pour les internautes sur votre site. Et puisque Google tient compte de l’expérience utilisateur, l’amélioration du maillage interne est tout à votre avantage.
Note : En ce qui concerne l’expérience utilisateur, sachez que la nouvelle mise à jour Google Page Experience sera pleinement déployée d’ici mai 2021.
Publication fréquente de contenus de qualité
L’amélioration de votre budget de crawl passe aussi par la mise à jour régulière du contenu de votre site. Si vous possédez un site d’entreprise, cette mise à jour ne doit pas seulement concerner les informations relatives à votre entreprise. Vous devez aussi publier régulièrement des articles sur votre blog d’entreprise.
Assurez-vous que les contenus publiés soient de qualité ! Ils doivent aussi être uniques, car Google sanctionne durement le contenu dupliqué ou duplicate content. Votre site contient-il des pages dont la qualité vous semble approximative ?
Supprimez ou interdisez-les à l’indexation via le fichier robots.txt, pour que le robot crawler de Google ne se concentre que sur les pages dont le contenu est vraiment de qualité.
